毕业于
耶鲁大学的惠特摩本来打算成为一名律师，从1947年当兵之后便开始了他长达50多年的演艺生涯。在这一生中，惠特摩多次出演美国标志性人物，包括杜鲁门、威尔·罗杰斯和罗斯福。早在1949年他就凭借《战场》获得了奥斯卡最佳男配角提名，而这只是他的第二部作品。1975年，他以《杜鲁门总统传》再度获得奥斯卡最佳男主角的提名。
惠特摩最为中国影迷所熟知的角色应当是在《
肖申克的救赎》里饰演的老布（Brooks Hatlen）一角。这是一部关于救赎之道的电影。老布在监狱中是受人敬仰的老好先生，他个子矮小，面容和善，负责监狱里的图书馆，他与一只小鸟作伴，吃饭的时候会将小鸟藏在怀中小心翼翼地喂养，然而面对释放的机会他却宁愿以身试法也不愿离开监狱。最终，在服刑50年后老布获得假释出狱，面对这个全新的世界，他因为多年来已经习惯监狱里的体制化而无法适应社会，最后绝望自杀，在此之前他用刀在
壁柜顶端刻上“Brooks was here”——老布到此一游。
2009年，美国当地时间2月6日，詹姆斯·惠特摩因
肺癌逝世，。
他于1947年结婚，育有三个儿子——史蒂夫、丹和演员兼导演
小詹姆斯·惠特摩。